多元高斯分布

多元高斯分布是把一维正态分布推广到向量随机变量的分布。设 $x \in R^{M}$ ，均值向量为 $m \in R^{M}$ ，协方差矩阵为 $V \in R^{M \times M}$ 。若 $V$ 对称正定，则

x \sim N (m, V)

的密度为

p (x) = \frac{1}{(\sqrt{2 π})^{M} \sqrt{det V}} \exp [- \frac{1}{2} (x - m)^{T} V^{- 1} (x - m)] .

均值 $m$ 决定分布中心，协方差矩阵 $V$ 决定每个方向上的扩散尺度和变量之间的相关性。

$x = (x_{1}, \dots, x_{M})^{T}$ 是随机向量， $m = E [x]$ ，并且

V = E [(x - m) (x - m)^{T}] .

$V$ 的对角元是各变量方差，非对角元是成对协方差。普通密度公式只适用于 $V$ 正定的情形；如果 $V$ 只有半正定，分布仍可作为退化高斯分布存在，但质量集中在低维线性或仿射集合中，不能写成上面的 $M$ 维普通 pdf。

若二维变量 $X, Y$ 独立，并且方差分别为 $σ_{1}^{2}, σ_{2}^{2}$ ，则

V = (\begin{matrix} σ_{1}^{2} & 0 \\ 0 & σ_{2}^{2} \end{matrix}),

联合密度是两个一维高斯密度的乘积：

p (x, y) = \frac{1}{2 π σ_{1} σ_{2}} \exp [- \frac{(x - μ_{1})^{2}}{2 σ_{1}^{2}} - \frac{(y - μ_{2})^{2}}{2 σ_{2}^{2}}] .

若 $X, Y$ 不独立，则依赖关系进入非对角协方差：

V = (\begin{matrix} σ_{1}^{2} & σ_{12} \\ σ_{12} & σ_{2}^{2} \end{matrix}) .

这时二次型 $(x - m)^{T} V^{- 1} (x - m)$ 含有交叉项，等密度曲线会旋转。协方差为正时，两个变量倾向同向偏离；协方差为负时，两个变量倾向反向偏离。

多元高斯的归一化可由线性代数解释。对正定协方差矩阵作谱分解：

V = Q Λ Q^{T}, Λ = diag (λ_{1}, \dots, λ_{M}), λ_{i} > 0.

令

X = x - m, Y = Q^{T} X .

于是

(x - m)^{T} V^{- 1} (x - m) = X^{T} Q Λ^{- 1} Q^{T} X = Y^{T} Λ^{- 1} Y = \sum_{i = 1}^{M} \frac{y_{i}^{2}}{λ_{i}} .

正交变换 $Q^{T}$ 不改变体积元素，并且把协方差变为对角矩阵 $Λ$ 。因此积分分裂为 $M$ 个一维高斯积分：

\int_{R^{M}} e^{- Y^{T} Λ^{- 1} Y / 2} d Y = \prod_{i = 1}^{M} \int_{- \infty}^{\infty} e^{- y_{i}^{2} / (2 λ_{i})} d y_{i} = (\sqrt{2 π})^{M} \sqrt{det V} .

这说明密度分母中的 $\sqrt{det V}$ 来自所有主轴方向标准差的乘积。

若 $x \sim N (m, V)$ ，线性变换

z = B x + c

仍服从高斯分布：

z \sim N (B m + c, B V B^{T}) .

这条性质使多元高斯天然适合线性测量模型、误差传播和最小二乘估计。特别地，若观测误差 $e$ 满足 $e \sim N (0, V)$ ，则用 $V^{- 1}$ 加权的二次型就是对应的负对数似然核心。

两个传感器同时测量温度与湿度。若两个传感器误差独立， $V$ 是对角矩阵，温度误差不会提供湿度误差的信息。若环境扰动会同时抬高温度读数并降低湿度读数，则非对角协方差为负，联合高斯的等密度椭圆会倾斜；此时把两个变量分别处理会丢失相关结构。

多元高斯的普通密度要求 $V$ 正定，不能把奇异协方差直接代入 $V^{- 1}$ 和 $det V$ 。当样本协方差病态或近奇异时，数值计算通常需要正则化、降维或使用稳定分解。高斯假设还意味着分布由均值和协方差完全决定；如果数据有厚尾、离群点或明显多峰结构，只靠多元高斯可能低估极端风险。